Incremental-LDI for Multi-View Coding

International audienceThis paper describes an Incremental algorithm for Layer Depth Image construction (I-LDI) from multi-view plus depth data sets. A solution to sampling artifacts is proposed, based on pixel interpolation (inpainting) restricted to isolated unknown pixels. A solution to ghosting artifacts is also proposed, based on a depth discontinuity detection, followed by a local foreground / background classification. We propose a formulation of warping equations which reduces time consumption, specifically for LDI warping. Tests on Breakdancers and Ballet MVD data sets show that extra layers in I-LDI contain only 10% of first layer pixels, compared to 50% for LDI. I-LDI Layers are also more compact, with a less spread pixel distribution, and thus easier to compress than LDI Visual rendering is of similar quality with I-LDI and LDI

Bit-rate allocation for Multi-view video plus depth

International audienceThe efficient compression of multi-view-video-plus-depth (MVD) data raises the bit-rate allocation issue for the compression of texture and depth data. This question has not been solved yet because not all surveys reckon on a shared framework. This paper studies the impact of bit-rate allocation for texture and depth data relying on the quality of an intermediate synthesized view. The results show that depending on the acquisition configuration, the synthesized views require a different ratio between the depth and texture bit-rate: between 40\% and 60\% of the total bit-rate should be allocated to depth

Livrable D2.2 of the PERSEE project : Analyse/Synthese de Texture

Livrable D2.2 du projet ANR PERSEECe rapport a été réalisé dans le cadre du projet ANR PERSEE (n° ANR-09-BLAN-0170). Exactement il correspond au livrable D2.2 du projet. Son titre : Analyse/Synthese de Textur

Recalage GPS / SIG / Video, et synthèse de textures de bâtiments

National audienceDans le contexte du recalage de données SIG de bâtiments avec des vidéos -- par exemple pour des applications de réalité augmentée -- nous présentons une solution à un des problèmes les plus critiques, à savoir l'initialisation de ce recalage. La méthode proposée exploite d'une part les informations sémantiques que l'on peut associer aux primitives extraites des images, et d'autre part le principe même de l'algorithme robuste RANSAC pour trouver automatiquement la pose initiale de la caméra d'acquisition. Nous montrons également comment ce recalage peut être exploité pour enrichir la base SIG visualisée par des textures réelles, calculées à partir des images acquises au sol, et ce de façon tout aussi automatique

Livrable D4.2 of the PERSEE project : Représentation et codage 3D - Rapport intermédiaire - Définitions des softs et architecture

51Livrable D4.2 du projet ANR PERSEECe rapport a été réalisé dans le cadre du projet ANR PERSEE (n° ANR-09-BLAN-0170). Exactement il correspond au livrable D4.2 du projet. Son titre : Représentation et codage 3D - Rapport intermédiaire - Définitions des softs et architectur

3D coding tools final report

Livrable D4.3 du projet ANR PERSEECe rapport a été réalisé dans le cadre du projet ANR PERSEE (n° ANR-09-BLAN-0170). Exactement il correspond au livrable D4.3 du projet. Son titre : 3D coding tools final repor

Compression multi-vues par representation LDI (Layered Depth Images)

This thesis presents an advanced framework for multi-view plus depth video processing and compression based on the concept of layered depth image (LDI). Several contributions are proposed for both depth-image based rendering and LDI construction and compression. The first contribution is a novel virtual view synthesis technique called Joint Projection Filling (JPF). This technique takes as input any image plus depth content and provides a virtual view in general position and performs image warping while detecting and filling cracks and other small disocclusions. A pixel confidence measure is introduced to avoid ghosting artifacts in the rendered views. For intermediate view interpolation, JPF is used in collaboration with a floating texture realignment technique. For virtual view extrapolation, JPF is combined with a novel full-Z depth aided inpainting technique. In order to efficiently encode the proposed LDI representation, a compression scheme based on MVC/AVC standard is adapted to exploit both temporal redundancies and inter-layer redundancies in the LDI sequence. An incremental construction scheme for the LDI is proposed, called I-LDI. This construction scheme reduces the completion rate of additional layers. An object-based layer organization of the LDI is then presented which ensures spatial consistency of each layer, and thus improves compression efficiency in comparison with a standard AVC/MVC scheme in rate-constrained context. Two rendering methods are finally proposed: the first one uses the JPF method, while the second one uses a 3D mesh for real-time rendering on an eight-views auto-stereoscopic display.Cette thèse présente un système de traitement des vidéos multi-vues plus profondeur (MVD), en utilisant le concept d'images multi-couches (LDI). Plusieurs contributions sont proposées, à la fois dans le domaine de la synthèse de vues à partir de cartes de profondeur et dans le domaine de la construction et de la compression des LDI. La méthode de synthèse de vues proposée est basée sur une nouvelle technique de projection (JPF). La projection JPF prend en entrée des données de type image plus profondeur et synthétise un nouveau point de vue quelconque ; elle est conçue pour détecter et remplir les fissures et les petits découvrements pendant la projection. Une mesure de confiance sur les pixels est introduite afin d'éviter les artéfacts fantômes au niveau des contours. Cette projection JPF est utilisée d'une part avec une technique de ré-alignement de textures lors de l'interpolation de vues intermédiaires, et d'autre part avec une nouvelle méthode de synthèse de textures lors de l'extrapolation de vues virtuelles. Afin d'encoder efficacement les séquences de LDI, un schéma de compression multi-vues (MVC/AVC) est adapté pour exploiter à la fois les redondances temporelles et inter-couche. Une construction incrémentale des LDI est proposée, qui réduit le taux de remplissage des couches additionnelles. L'efficacité de la compression est améliorée par une réorganisation des couches par objet, assurant ainsi une meilleure cohérence spatiale. Deux méthodes de rendu sont finalement proposées : la première utilise la projection JPF alors que la seconde utilise des maillages 3D pour un affichage temps réel sur un écran multi-scopiques

Génération, Compression et Rendu de LDI

National audienceCe papier présente l'utilisation de Layered Depth Images (LDI) dans le cadre de la compression de vidéo MVD. Leur construction incrémentale (I-LDI) permet l'élimination d'une grande partie des corrélations inter-vues, sans nécessiter de caméras rectifiées. Leur compression par le codeur MVC permet en plus l'exploitation des corrélations temporelles. Une solution aux effets de fantômes (Ghosting) est proposée, basée sur une détection de contours dans les cartes de profondeur, suivie d'une classification locale premier plan/arrière plan. L'élimination des découvrements (Disocclusions) et craquelures de textures est permise par une projection ordonnée des pixels, suivie d'une projection inverse. Les tests sur des vidéos MVD montrent une réduction de 80% du nombre de pixels sur les couches supplémentaires des I-LDI. La comparaison des courbes débit-distorsion de MVC appliqué sur les vues, et de MVC appliqué sur les couches I-LDI, montre un apport de qualité pour des débits faibles

Vidéo 3D : quel débit pour la profondeur ?

National audienceCet article s'intéresse à la répartition du débit entre la texture et la profondeur lors de la compression de séquences multi-vues plus profondeur (MVD). Les effets de la quantification sur les deux types de données sont étudiés. La distorsion est mesurée sur les images synthétisées à partir des séquences MVD encodées et décodées par la méthode MVC. Bien que la profondeur soit codée sur une seule composante (contre trois pour la texture), allouer 25% du débit à la profondeur n'est pas le choix optimal. Les résultats montrent que plus de la moitié du débit doit être réservée aux données de profondeur

Joint Projection Filling method for occlusion handling in Depth-Image-Based Rendering

International audienceThis paper addresses the disocclusion problem which may occur when using Depth-Image-Based Rendering (DIBR) techniques in 3DTV and Free-Viewpoint TV applications. A new DIBR technique is proposed, which combines three methods: a Joint Projection Filling (JPF) method to handle disocclusions in synthesized depth maps; a backward projection to synthesize virtual views; and a full-Z depth-aided inpainting to fill in disoccluded areas in textures. The JPF method performs the pixels warping for virtual depth map synthesis while making use of an occlusion-compatible pixel ordering strategy, to detect cracks and disocclusions, and to select the pixels to be propagated in the occlusion areas filling process. The full-Z depth-aided inpainting method fills in disocclusions with textures at the correct depth, preserving the boundaries of the objects. Ghosting artifacts, which might otherwise result from pixel projections, are here avoided by introducing a confidence measure on background pixels to be used in the JPF process